LongMINT: Evaluating Memory under Multi-Target Interference in Long-Horizon Agent Systems
MINTEVAL:在长时程多目标干扰下评估 Agent 记忆系统
🧭 Agent 记忆评估与干扰鲁棒性 ★ 深度解读
UNC Chapel Hill · The University of Texas at Austin
一个面向干扰密集、多领域、长时程记忆的基准,揭示现有记忆系统在回溯与聚合推理上的严重不足
📌 工作参考价值(4 点)
- 在电商/推荐场景中,用户偏好频繁更新且常需回溯历史状态(如曾经喜欢某品牌),现有记忆系统由于过度依赖追加新记忆、缺乏细粒度修改/删除,导致早期信息被覆盖。建议:引入显式时间戳或版本标记,并设计支持 CRUD 的原子记忆操作,以减少干扰。
- 多目标聚合任务(如“用户在过去三个月内切换过几次偏好类目”)对应推荐系统中跨会话行为序列的计数或排序需求。当前 Agent 在此类问题上平均准确率仅 26.5%,大幅落后于简单召回,需要在记忆模块中增加结构化聚合算子或专门训练多跳推理能力。
- 实验表明减少记忆更新频率(增大 chunk size,如从 7 增至 30)能显著提升回溯与计数问题的性能,而不会损害简单最近状态查询。这提示在构建长期用户画像记忆时,应优先采用粗粒度、低频更新策略,避免频繁覆盖。
- 干扰鲁棒性分析:添加领域外噪声(如通用文本)对 RAG 类系统影响最大,而记忆增强代理相对稳健。在推荐系统中引入检索增强时,应注意检索池的噪声控制,并结合时间衰减或重要性加权来过滤无关信息。